Common to all different kinds of recurrent neural networks (RNNs) is the intention to model relations between data points through time. When there is no immediate relationship between subsequent data points (like when the data points are generated at random, e.g.), we show that RNNs are still able to remember a few data points back into the sequence by memorizing them by heart using standard backpropagation. However, we also show that for classical RNNs, LSTM and GRU networks the distance of data points between recurrent calls that can be reproduced this way is highly limited (compared to even a loose connection between data points) and subject to various constraints imposed by the type and size of the RNN in question. This implies the existence of a hard limit (way below the information-theoretic one) for the distance between related data points within which RNNs are still able to recognize said relation.
translated by 谷歌翻译
标量和矢量场的神经近似（例如签名距离函数和辐射场）已成为准确的高质量表示。最先进的结果是通过从可训练的特征网格中进行查找的调节来获得的，这些近似是按照学习任务的一部分，并允许较小，更有效的神经网络。不幸的是，与独立的神经网络模型相比，这些特征网格通常以明显增加的记忆消耗成本。我们提出了一种词典方法，用于压缩此类特征网格，将其内存消耗降低至100倍，并允许多分辨率表示，这对于核心外流很有用。我们将词典优化作为矢量定量的自动码头问题提出，使我们能够在没有直接监督以及具有动态拓扑和结构的空间中学习端到端离散的神经表示。我们的源代码将在https://github.com/nv-tlabs/vqad上找到。
translated by 谷歌翻译
可靠的跟踪算法对于自动驾驶至关重要。但是，现有的一致性措施不足以满足汽车部门日益增长的安全需求。因此，这项工作提出了一种基于卡尔曼过滤和主观逻辑的混乱中单对象跟踪自我评估的新方法。该方法的一个关键特征是，它还提供了在线可靠性评分中收集的统计证据的量度。这样，可靠性的各个方面，例如假定的测量噪声，检测概率和混乱速率的正确性，除了基于可用证据的整体评估外，还可以监视。在这里，我们提出了用于研究问题的自我评估模块中使用的参考分布的数学推导。此外，我们介绍了一个公式，该公式描述了如何为冲突程度选择阈值，这是用于可靠性决策的主观逻辑比较度量。我们的方法在旨在建模不利天气条件的挑战性模拟场景中进行了评估。模拟表明，我们的方法可以显着提高多个方面杂物中单对象跟踪的可靠性检查。
translated by 谷歌翻译
在模仿学习的背景下，提供专家轨迹通常是昂贵且耗时的。因此，目标必须是创建算法，这些算法需要尽可能少的专家数据。在本文中，我们提出了一种算法，该算法模仿了专家的高级战略，而不仅仅是模仿行动水平的专家，我们假设这需要更少的专家数据并使培训更加稳定。作为先验，我们假设高级策略是达到未知的目标状态区域，我们假设这对于强化学习中许多领域是有效的先验。目标国家地区未知，但是由于专家已经证明了如何达到目标，因此代理商试图到达与专家类似的州。我们的算法以时间连贯性的思想为基础，训练神经网络，以预测两个状态是否相似，从某种意义上说，它们可能会随着时间的流逝而发生。在推论期间，代理将其当前状态与案例基础的专家状态进行比较以获得相似性。结果表明，我们的方法仍然可以在很少有专家数据的设置中学习一个近乎最佳的政策，这些算法试图模仿动作级别的专家，这一算法再也无法做到了。
translated by 谷歌翻译
变压器已成为机器学习的重要主力，并具有许多应用。这需要开发可靠的方法来提高其透明度。已经提出了多种基于梯度信息的多种可解释性方法。我们表明，变压器中的梯度仅在本地反映该函数，因此无法可靠地确定输入特征对预测的贡献。我们将注意力头和分层确定为这种不可靠的解释的主要原因，并提出了通过这些层传播的一种更稳定的方式。我们的建议在理论上和经验上都显示出良好的LRP方法的适当扩展，以克服简单基于梯度的方法的缺乏，并实现先进的解释绩效在广泛的变压器模型和数据集上。
translated by 谷歌翻译
受试者经常与若干参与者的中等辩论经常变化，例如议会会议，选举辩论和审判。将争论分组到具有相同主题的块是必不可少的理解。通常，主持人负责在新块开始时定义，以便自动划分审核辩论的任务可以完全关注主持人的行为。在本文中，我们（i）提出了一种新的算法，Debacer，其审议审查辩论;（ii）在常规和Bertimbau管道之间进行比较研究;（iii）验证将其申请到葡萄牙共和国大会的分钟。我们的结果显示了Debacer的有效性。关键词：自然语言处理，政治文件，口语文本处理，语音分裂，对话分区。
translated by 谷歌翻译
我们提出了一种基于学习的路径跟踪算法的光路构造方法，其迭代地优化和样本从我们称为时空高斯混合模型（SDMMS）。特别是，我们将事件发光近似为6美元的5美元的5美元，由$ k $ d-tree加速。使用相同的框架，我们将BSDFS近似为预先培训的$ N $ D混件，其中$ N $是BSDF参数的数量。这样的方法解决了路径指导模型中的两个主要挑战。首先，$ 5 $ D辐射表示自然捕获空间和方向尺寸之间的相关性。例如，这种相关性存在于视差和焦化中。其次，通过使用高斯的切线参数化，我们的时空混合物可以执行具有任意定向的BSDF的近似产品采样。现有模型仅能够通过上述混合组件的各向异性或者代表局部（正常对准）坐标的光阳场来执行此操作，这使得辐射场更难以学习。切线参数化的额外益处是，每个单独的高斯映射到固体靠近其质心的低失真的固体球体。我们的方法在具有小型局部灯具的场景中表现尤其好，该灯具在入射光辐射中引起高时空相关性。
translated by 谷歌翻译
我们提出了一种有效的方法，用于从多视图图像观察中联合优化拓扑，材料和照明。与最近的多视图重建方法不同，通常在神经网络中产生纠缠的3D表示，我们将三角形网格输出具有空间不同的材料和环境照明，这些方法可以在任何传统的图形引擎中未修改。我们利用近期工作在可差异化的渲染中，基于坐标的网络紧凑地代表体积纹理，以及可微分的游行四边形，以便直接在表面网上直接实现基于梯度的优化。最后，我们介绍了环境照明的分流和近似的可分辨率配方，以有效地回收全频照明。实验表明我们的提取模型用于高级场景编辑，材料分解和高质量的视图插值，全部以三角形的渲染器（光栅化器和路径示踪剂）的交互式速率运行。
translated by 谷歌翻译
许多领域的研究表明，转移学习（TL）非常适合提高具有少量样品的数据集中深度学习（DL）模型的性能。这种经验成功引发了对具有功能神经影像数据的认知解码分析的应用的兴趣。这里，我们系统地评估了从全脑功能磁共振成像（FMRI）数据的认知状态（例如，观看面部或房屋图像）的解码的TL。我们首先在大型公共FMRI数据集中预先列出两个DL架构，随后在独立实验任务和完全独立的数据集中评估其性能。预先训练的模型始终如一地达到更高的解码精度，并且通常需要较少的训练时间和数据，而不是模型变形，这些模型变体没有预先接受培训，明确强调预制培训的好处。我们证明，这些益处是由于预先训练的模型在使用新数据培训时重用了许多学习功能的这些益处，从而深入了解导致预训练的好处的机制。然而，在解释预先训练模型的解码决策时，我们还通过DL模型对全脑认知解码进行了差别挑战，因为这些已经学会了在不可预见的情况下利用FMRI数据和识别单个认知状态的违反直觉方式。
translated by 谷歌翻译
由于昂贵的挖掘程序，光纤到-UTH（FTTH）网络的扩展会产生高成本。因此，优化规划过程，最大限度地减少地球挖掘工作的成本导致大量节省。在数学上，FTTH网络问题可以被描述为最小的Steiner树问题。尽管在过去的几十年中已经在集中进行了密集地进行了强烈调查了施泰纳的问题，但可以在新的计算范例和新兴方法的帮助下进一步优化。这项工作研究即将到来的技术，例如Quantum退火，模拟退火和自然启发方法，如进化算法或基于粘液模具的优化。此外，我们还调查分区和简化方法。在几个现实生活中评估，我们可以在大多数域上表达传统的广泛使用的基线（NetworkX近似求解器）。先前分区初始图和所呈现的基于粘液模具的方法对于成本有效的近似特别有价值。 Quantum退火似乎很有希望，但受到可用Qubits的数量的限制。
translated by 谷歌翻译